AI与风险治理（上）|「AI伦理与治理」系列3期实录
本文为未来论坛AI伦理与治理系列03期——《AI与风险治理》实录稿，共分主题报告和圆桌讨论两个部分，今天分享的是上半部分，共收录北京师范大学法学院教授汪庆华《自动驾驶中的技术、风险与法律》、华东师范大学人类学研究所教授黄剑波《（AI）风险的事实、幻象与感知》、百度副总裁马杰《道阻且长，行则将至——进入深水区的AI安全与企业实践》、西安交通大学电子与信息学部教授沈超《AI系统安全风险分析》四个主题报告。圆桌讨论实录部分将于近期分享。
导语 / Introduction
风险的广阔覆盖性使得风险预防不得不考虑所有的利益相关者。然而，由于风险预防本身对传统规制方式带来的挑战，如何整合、修正与改善既有的风险信息规制方式需要被重新分析与审视。本期研讨会邀请AI、法律、人类学专家学者与自动驾驶和金融科技企业代表，一同探讨AI为社会提升效率的同时，如何对其风险进行识别、预防、管理以及风险发生后的定责及处理，从而形成良好的AI风险治理模式。
主题报告
@汪庆华《自动驾驶中的技术、风险与法律》
1.汽车是什么？是没有马的马车；而自动驾驶汽车是没有马车夫的马车，因为人类把汽车操控的决定权交给了人工智能。人类担忧我们是否在逐渐丧失自由意志，但我们确实要对自动驾驶有一个全新的理解，它已经不是传统意义上的汽车，它其实是一个人工智能的综合体。
2.自动驾驶面临着一个道德困境：当我们对该类算法进行价值输入的时候，首先要决定我们应秉持康德主义的哲学，还是做一个功利主义的选择。
随着新一代人工智能技术地发展，很多领域都对其进行了非常广泛地应用。人工智能在自动驾驶领域应用较广，这些应用也取得非常具体的成果，产生广泛而深远的影响。
在汽车行业的自动驾驶领域中，一个被广泛接受的标准是：自动驾驶从L0到L5分为6级。目前的技术已经发展至L2的层面,实现了商业化的应用；L3、L4目前尚在测试与实验阶段。从技术路线的角度来说，有人指出，对于商业化应用的L2阶段，是否可以看作“单车智能”的瓶颈？目前也存在一种提议——我们是否要实现从“单车智能”到“车路协同”的模式转变。但是，自动驾驶技术的发展已经非常深刻地改变了我们的交通的业态，改变了人们的出行方式，也在伦理、隐私、责任等方面带来了非常多的挑战。
法律中的电车难题非常经典：一辆风驰电掣列车在经过一个岔道口时，其面前的两条铁轨上均存在风险，其中一条铁轨上有5个玩耍的孩子，另外的一条铁轨上有1个孩子在玩耍。如果你是一个需要做出一个选择的扳道工，你是将列车导向1个孩子的铁轨方向，还是使其开往有5个孩子玩耍的铁轨方向？这就是著名的电车难题，伦理意义上可能有不同的回应方案，从康德“每一个人都是他自身的目的”的角度来说，可能我们没有办法做出抉择，因为每一个人的生命都是宝贵的，我们没有办法以牺牲一个人的生命来拯救更多的生命。从功利主义的角度来说，我们应该把这趟列车导向只有1个孩子的那条路线。当然，还有一种办法，就是通过掷色子来随机决定这趟列车驶向何方。
自动驾驶的关键在于，较之个人控制，人工智能的决策是一个非常重要的前置性问题，它面临着一个道德困境：当我们对该类算法进行价值输入的时候，首先要决定我们应秉持康德主义的哲学，即认定每一个人的生命都是宝贵的，还是做一个功利主义的选择，即拯救更多的生命；是牺牲1个生命以挽救5个生命，还是随机决定。所以，自动驾驶面临着一个非常重要的算法伦理困境。类比于“马车与汽车”的对比：有一个非常著名的说法——汽车是什么？是没有马的马车；而自动驾驶技术的出现带来了一个新的概念，自动驾驶汽车是没有马车夫的马车，因为人类把汽车操控的决定权交给了人工智能，这也是为什么自动驾驶技术带来广泛社会福利的同时，也会给人们带来隐忧的原因之一。人类担忧我们是否在逐渐丧失自由意志，但我们确实要对自动驾驶有一个全新的理解，它已经不是传统意义上的汽车，不完全是给大家提供出行的方便的交通工具，它其实是一个人工智能的综合体。
作为人工智能的综合体，一辆自动驾驶汽车配有成百上千甚至可能更多的传感器，它已经打破了诸多传统，比如汽车的空间，这种空间其实非常隐私。但是，自动驾驶汽车车内的所有信息需要同步更新到软件上，所有算法决策的精准性来自于对数据的训练。这时候我们会发现，人类需要打破传统意义上对汽车车内空间的隐私期待，所以自动驾驶会面临关于个人隐私、个人信息保护的难题。现有立法需要对这方面进行相应的回应。我们可以看到世界各国关于自动汽车的相关立法，比如国家互联网信息办公室关于《汽车数据安全管理若干规定（征求意见稿）》规定，车内的信息可以根据需要随时删除。在个人信息的保护和产业的发展之间，存在着一定的张力。
自动驾驶汽车的到来不仅在伦理和隐私方面带来了挑战，它对于传统侵权责任的划分也带来了一些新的课题。现有的交通法律制度建立在驾驶人责任的基础之上，无论法律制度采取过失责任、过错责任，还是无过错责任，都以驾驶人的行为作为法律规制的对象。因此，法律规制到驾驶人的注意层面，驾驶人如果想在法律上免责，必须确保履行自己的注意义务。如果在法律上能够证明已经尽到了注意的义务，驾驶人可以免责。鉴于汽车事故的后果可能非常严重，国家在立法上也会适当采取无过错责任，即无论驾驶者是否有过错，他对所发生的交通事故都要承担责任，这是一种严格责任，而这种严格责任并不能达到提高驾驶员注意程度的目的。如果驾驶员想要免责，只能减少自己的行为，所以其规制的是当事人的行为（activity level），也就是通过减少开车的行为、减少出行的次数，以降低发生事故的概率。
自动驾驶汽车运行时，对汽车的操控由人和人工智能共同完成，在目前的技术条件下，即辅助自动驾驶阶段中，人类仍要对行车进行监管。可能到了有条件的自动驾驶、乃至于完全自动驾驶阶段，人类的对于车辆的控制要逐步让渡于算法，那么自动驾驶在法律上就会面临其他新的问题。一方面，现有立法应当给整个产业划定底线和红线，但同时也应当为产业的政策提供了一个兼容的促进发展的空间。
@黄剑波《（AI）风险的事实、幻象与感知》
1.现代社会中，为什么人们越来越感知到风险的无所不在以及程度上的无以复加？在道格拉斯等人看来，这是因为现代人越来越孤零零地面对一个庞大的外在世界，个体的微小和世界的庞大构成一个极大的反差。
2．现代社会的风险或许在数量上更多、表达上更新，但是这绝不意味着这就是技术发展本身的问题，根本上说是人自身的问题，是人的贪婪骄傲和黑暗的问题。
3.风险需要被清除，甚至从根本上根除吗？其实“不洁”才是我们每天所面对的真正的现实，因为“洁净”其实是一个理想（ideal）状态，所以我们才需要每天不断的清洁打扫和整理。
4. 风险感知指向一种可欲的群体生活，而不是丛林式的野蛮竞争，它是不断调试、朝向更善的过程，而不是一种自以为是的一劳永逸的简单方案。
对AI所带来的问题以及对该问题的理解与回应，是社会学或者人类学也要面临的问题。因此今天我的题目是“AI风险的事实幻象与感知一种向上的努力和可能”。面对人工智能，我们有两种态度：一种是乐观主义式全面拥抱的态度，把AI看作一种技术革命，甚至有人把它视为一种对人类或者人性的解放，因为它确实给我们带来诸多便利，将原来不可想象的事情变成一种可能，它超越了人类纯粹的理性思维能力。从这个意思来讲，AI遵循一种“人性+”（humanity plus）的路径。第二种态度是否定态度，AI的出现让人们感到恐慌，甚至抵制，因为它们被看作是人类社会的他者或者异类。很多影视作品给我们呈现的是这种AI统治甚至毁灭人类可能性。所以对人性而言，它不是一种“增加”（humanity plus），而是一种“消减”（humanity minus），即便不是人性的毁灭，也是一种缩减，这种态度其实是悲观的、恐惧的、抵触的。
那么，我们是否有其他理解和处理的方式与可能？
首先第一个问题是，风险是否只是一个现代性的问题？其实无论是社会学还是人类学，我们已经有了一些可知借鉴的研究或者洞见。在德国社会学家贝克看来，风险社会是理解现代社会的一个角度，它指向了一种“自反性现代性”。所以他更加强调风险作为外在性客观实存的一面，希望通过它探讨现代性问题。在他看来风险是一种外在性的客观实存，它主要是一个现代性问题。德国学者卢曼的《风险社会学》以及他的研究可能不那么被人关注，但角度非常有意思，将“风险”与“危险”予以区分，这实际上非常重要，值得我们继续思考。人类学家道格拉斯（Married Douglas）从另外一个角度讨论风险问题，就是让我们去重视或者强调主观性的感知。这个问题有一个基本背景认定：风险其实不仅仅是一个现代性的问题。从这个意义上讲，它有点类似于法国哲学家拉图尔所说的“我们从未现代过”。但是，为什么现代社会中人们越来越感知到风险的无所不在以及程度上的无以复加呢？在道格拉斯等人看来，这是因为现代人越来越孤零零地面对一个庞大的外在世界，个体的微小和世界的庞大构成一个极大的反差。（见图1）
-图1-
具体来说，在以个体主义为基调的现代社会中，要理解风险问题，理解人们何以恐惧，何以认定某些事物具有风险，需要我们先超越个体主义，重提共同体，或者群体性生活。风险研究大致始于上世纪八十年代，但实际上，道格拉斯早在六十年代便开启了风险研究。她著有《洁净与危险》一书，书中详细讨论了“洁净”与“不洁”的问题。从中我们可以看到，“洁净”观不仅是现代卫生学的问题，它反映了一种社会结构，同时也是人们思考的基本结构和方式，是宇宙观意义上的思考和行动过程。它不仅仅是现代卫生学的问题，它反映一种社会结构，是我们思考的一种基本结构和方式，是宇宙观意义上一种思考和行动的过程。在书中她到，对不洁的认识本身就源自于对于一种秩序和正当性的理解和认可。她举了一个例子：如果鞋子放在地上不会觉得它有多脏，但是如果把鞋子放在餐桌上，意义马上就改变了，人们就会觉得鞋子是非常不洁净的，因为它在不当的地方或位置，这与正当秩序或者所谓的制度（“这里的制度（institution）更多指的是一种广义上的人类前提性的思考方式，而不是某种具体的组织机构”）是有关系的。在八十年代，道格拉斯还有另外一部作品《制度如何思考》，这本书总结了道格拉斯的制度观，论证了制度如何赋予概念合法性和正当性，进而做出生死之别的判断和决定。她其实在批判现代人个体自主的幻象：当我们做出自由的选择或者说自由的决定的时候，你以为你是自由的，其实并非如此。
80、90年代的风险研究指出，风险感知不仅仅是个人性的，更是社会性和群体性的，某种意义上是类别性的(categorical)。这就是为什么一个群体会认为某些东西具有风险，而另一些东西则是安全的；为什么某些群体对某些风险尤为敏感，而在另一些群体看来则不是如此。在这个意义上，现代社会里的风险或许在数量上更多，表达上更新，但是这绝不意味着这就是技术发展或者新兴技术本身的问题，根本上来说其实是人自身的问题，是人的贪婪骄傲和黑暗的问题。那么，风险需要被清除，甚至从根本上根除吗？其实“不洁”才是我们每天所面对的真正的现实，因为“洁净”其实是一个理想（ideal）状态，所以我们才需要每天不断的清洁打扫和整理。
风险的存在和感知本身是一个社会的问题，是人的问题。换言之，一定的风险意识是人类自我保护的方式，比如对具有较大危险的事物可能要对它进行规避，这也是现在很多技术科技人员、公司、政府努力在做的事情。所以，其实我们对于风险的直面与处理永远在路上，因为在我看来并不存在一劳永逸的简单方案可以避免全部风险，更谈不上存在一种完全根除全部风险的检测方案。如果我们有一个方案，其实只是一个更好的方案，或者更加可靠的方案，而不是一个完全解决的方案。因此，总体来看AI以及相应新技术的发展绝非洪水猛兽，我们对其心存畏惧因而全面拒绝，但是它同时也绝非解决人类问题的根本方案，因而对其持一种简单的无所鉴别的拥抱或期待。
风险当然具有客观性，然而对于风险感知的认识，同样值得我们的思考和处理。所以，风险不仅仅是现代性问题，它更是一种人类或者人性问题，涉及到人对世界以及自己的生活方式的基本认识和理解，至少是对更好的生活或者秩序的向往或者努力。风险感知指向一种可欲的群体生活，而非丛林式的野蛮竞争，它是不断调试、朝向更善的过程，而不是一种自以为是的一劳永逸的简单方案。人类对风险主观性的承认，并非风险管理或者现在所谈的风险治理，相反，承认风险的主观性可以帮助我们深化对技术产生的风险的认知，有了更好的认知，就可能有更好的解决方案。
总之，对于掌握、开发或使用新技术的人而言，我们有更大的能力，但是能力越大，责任就越大，德与位应当一致。个人如此，群体和机构也如此，我希望无论是技术发展，还是社会发展，都朝向一个更好的、大家都愿意的方向。
@马杰《道阻且长，行则将至——进入深水区的AI安全与企业实践》
1. 我们用AI产生的问题，我们可以用AI去解决。
2.作为技术工作者，我们的基本逻辑是，我们相信AI给这个时代带来的是一个非常大的机会。
技术工作者的理想总是相信技术是可以推动社会的进步，今天想跟大家分享的是随着AI的广泛使用而导致的广泛问题，以及如何解决它们。
AI整个已经进入一个大生产的时代，在两会中有很多关于AI的提案，这已经是一个社会的主体潮流，不论我们喜欢与否，都已经深入到生活的方方面面。同时，从国家角度来看，数据也已经成为最重要的生产要素之一，AI的整体基座是数据， AI的相关问题很多涉及数据安全和隐私。AI的三要素包括算力、算法和数据，那么对应地就有系统安全、模型安全以及数据安全与隐私保护这三方面的问题。系统安全放到传统的安全领域去探讨，在算法层面新出现的安全问题主要是模型安全。整个AI所依赖的数据所产生的数据安全和隐私问题，这是最重要的问题。所以从 AI安全研究的角度来讲，可以把它分成三个维度：一个是“security”问题，即强对抗环境下的威胁与对抗；第二是“safety”问题，是指非对抗环境下（没有人为故意破坏）会出现的安全问题。第三是“privacy”问题，就是数据安全和隐私保护的问题。（如图2）
-图2-
第一，在强对抗环境下，利用对抗样本，可以让车在计算机视觉的眼中消失，或者本来路上没有车，在地面上放一张纸后，从计算机视觉看来，这个地方有一辆无中生有的“汽车”；还可以篡改一些识别的信息，通过在路边的交通标识上贴小纸片，或者是做一些小的涂改，使得在机器视觉眼中，它变成了另外一个交通标牌。比如，把一个“停止标识”变成了“时速25”的通过标识，这都有可能造成问题。此外，有的模型本身存在安全性问题。
第二，在非对抗环境下，有的交通事故是在光线良好的情况下发生的，并非我们日常所认为发生于黑暗或看不见的情境。在AI时代，用传统的直觉去理解，许多问题本不该发生，这给我们对安全的考虑和对抗带来了很多不一样的提醒和思考。 我们不能主观认定哪些场景就是安全的，就自动驾驶而言，更多测试它在黑夜中的安全度，实际上诸多交通事故都出现在光线特别好的情况下。所以我们不能靠猜的方式，而需要体系化地研究整体情况。
比如自动驾驶中目标识别的问题（如图3），在图3的四张照片里，左上角这张图描述了夜晚特别暗的光线会对机器视觉的识别产生影响，可以看到这里面一个识别框都没有，这意味着在机器视觉眼中，这些车辆和交通灯都没有被识别出来，但是我们可以去做一些对抗训练。做完对抗训练以后，从右上角这张图上可以看到，在同样非常黑的情况下，里面所有的车辆以及交通灯都可以被正确地标识出来。同样，在左下角这张呈现路边有一辆车与一个人的照片中，它的框标也是不正确的。因为这张照片被加入了人为故意的对抗噪声，同样经过对抗训练，右下角的照片就可以重新把所有的人和车正确地标识出来。所以，这些问题是由 AI带入的新问题，只要我们能识别出这种问题，可以通过进一步的训练予以解决。
-图3-
在各种路况中，自动驾驶都可能会出现安全问题，如果这种问题出现在我们认为不太可能出现问题的时候怎么办？现在的计算机仿真技术较为完善，把所有场景模拟在仿真环境中，将各种路况、天气、车辆间的交汇进行非常完整的、暴力性事故场景的匹配，可能有自然环境的问题、有道路交通的问题、有交通行为的问题、有各种障碍物和车辆的异常反应，把所有可能的情况进行逐一枚举，尝试各种场景以检验自动驾驶的决策系统是否可以做到安全，以此提升整个决策的安全性。
在AI中还可能有别的问题，比方说 AI本身被用于伪造照片和视频，大家广泛的把它称之为生物深度伪造。深度伪造是 AI能力增强之后带来的新问题，以前修图非常复杂，现在通过AI技术可以快速实时地给人换脸。但是，用AI产生的问题，可以用AI去解决。我们可以通过人工智能的各种算法，检测换脸的过程所留下的各种各样的问题（如皮肤的纹理颜色分辨率等各种问题），以防范它所带来的风险。
还有一个问题非常重要，即数据安全问题。整个大数据时代会产生非常多的数据安全问题，所有的业务场景中间都会存在，业界也有各种各样的解决方法。比如通过开源的隐私计算安全框架，在Intel SGX/AMD SEV/ARM Trustzone等多种可信执行环境中运行，既能提供很好的计算能力，同时又解决在存储和交换中的数据安全和隐私问题。
此外，机器学习本身也可能存在问题。比如现在普遍都用“Tensor Flow”或者“Paddle Paddle”进行机器学习的训练，机器学习训练的本身所用到的数据会不会被逆向推导，这个模型会不会逆向分析，这里面隐私和数据的风险，都是新的安全性挑战。同样，在这些机器学习的平台中，各家也都在努力提供各种各样方式解决可能的问题，让机器学习和训练中的数据安全和隐私受到保护。作为技术工作者，我们的基本逻辑是，我们相信AI给这个时代带来的是一个非常大的机会。
不管是智能音箱，还是即将在路上普及的自动驾驶，都将给生活带来巨大的便利，我们必然也会面临新技术中新的安全性问题，但是新的安全性问题又会有新的技术来解决它，最终人类所获得的是技术的进步和整个工作生活环境的提升。
@沈超《AI系统安全风险分析》
1.在模型训练的时候，如果样本存在一定的持续性，该模型得到的结果一定存在偏差，所以这个问题变成——如何对一个非开源的黑色系统做一个歧视性的发现，即所谓的“歧视样本发现问题”。
2.模型共享过程中可能会存在一定风险，因为模型是别人做的，公开的模型可能存在一定的后门，而后门在安全模型重用过程中是一个比较大的风险问题。
我今天分享的题目是关于AI系统安全风险的分析，安全（尤其是风险）和AI的关系可以从两个角度来看：AI可以让安全变得更加有效、提升安全能力，但是AI本身也可能存在安全风险，包括亚马逊AI招聘算法性的机制，以及AI医疗软件中也存在一些偏见，还有犯罪预测算法中的种族歧视等问题。目前 AI的动力源自算法和数据，这是当前算法可能存在隐患和风险的重要原因。
首先，举个“艺术家用一罐盐攻击了一辆自动驾驶汽车”的例子：艺术家用盐在地上画两个圈——内圈是实线，外圈是虚线。如此一来，懂得交通规则的人都知道，汽车可以从外圈开到里圈，但是不能从内圈开到外圈，如果开出去就会压线导致扣分。在这种环境以及一定的准则之下，自动驾驶系统也面临着潜在的风险，我们把它称为逻辑上的漏洞问题。
至于AI系统的风险，结合所作的研究，我们将AI系统中的信息传递大致划分方向，从输入到数据处理，到模型到应用，再到AI的测试，这都是在AI风险中这是信息流动过程。在输入阶段，最典型的就是自动系统所谓的传感器芯片，所有的传感器都是电子元器件，比如说故障率的故障时间，可以用定向输入输出的方法，对传感器进行干扰。因为强光器可以使人类的眼睛致盲，同样可以使用一些手段让传感器产生错误的判断。同时，对于无人系统，比如无人驾驶的飞机，它也面临这样的问题，我们可以对陀螺仪进行定向的干扰，对它输入使其发生反应，但是我们也有防御的手段。
此外，在技术层面存在一个“系统共性”的问题，很多识别算法会发生错误判断，比如信贷公司可能存在信用评级的问题：男性与女性的银行贷款额度可能会存在差距。招聘也是一样，招聘的简历的筛选通过率有所区别，可能存在不公，背景相同的人可能只是因为性别不同而别差别对待，它会导致一些具体的问题。当然中间有很多的环节，因为AI是一个系统，数据的正确标注和数据收集是一个模型。
在现实中，我们希望收集到的每一个数据集是平衡的，比如某个关于判断男性和女性的数据集，在数据的训练学习中，我们希望男性和女性的比例是大体相当的。但是在现实生活中很难获取。比如，如果需要100万的男性数据，但是可能只有80万时，就会用一些数据增强的方法，产生新的20万数据补到原数据中，这样在数据量上平衡的。但是问题在于，数据执行的方法都是针对原数据集进行的，其数据分布还是与原始数据分布一致，因此新的数据集在分布上与原数据是相同的，这样的数据集并不能代表自然界的数据集，所以就可能产生一定的偏见。在标注过程中，由于标识数量非常大，可能会把偏见再次放大，因此这类模型在应用时，可能出现应用的不公平性。（如图4）
-图4-
在模型训练的时候，如果样本存在一定的持续性，该模型得到的结果一定存在偏差，所以这个问题变成——如何对一个非开源的黑色系统做一个歧视性的发现，即黑客所谓的“歧视样本发现问题”。具体而言，在决策系统并不了解目标时，可以通过训练一些替代模型，比如shadow model，这个模型能够无限逼近目标，把这个问题转化成在该模型的边界中寻找结点的问题，因为只有边界的结点能决定模型的分类面是什么样子。最终目的有二：一为用户的自身权益提供评估，二是为开发者修复系统中可能存在的风险。
第二，在数据处理中可能存在一些问题，举例而言，在图片分类或者目标检测中大部分就是四类问题：一是做分类，二是做识别，三是做检测，四是做推动。我们会用一些具体的模型，如“LeNet”“VGG16”“VGG19”“Google Net”“Inception”等完成这类任务。“Input Size”是指模型的输入大小，而一张原始照片的像素点是很高的，在当前比较高端的照彩系统中，“1204×768”的都是比较小的。大部分开源平台都会对图片进行压缩，对原始照片做预处理。预处理之后，再分类、再识别。但是原始照片通过预处理环节会压缩成一个分类网络比较小的输入。我们会把一些灰度图中间黑的部分，用最简单的预处理方法把它移除掉，但是这只是多种预处理方法中的一种而已。我们会形成一个大概是“229×229”的图片，意味着在做分类决策的时候，所有的像素点只占原始照片的2.43%，一张“1800×1200”的图片大概216万个像素点，分类完以后是“229×229”，大概为5万——相当于弃置了97%的像素点，所以存在比较大安全风险。因此，逆过来看，如果这张压缩后的“229×229”图片和原来那张大图片拼起来，把黑色的部分全部拼好之后，还原成原始大照片，那张大照片看上是去一张狼，这张照片中有97%的信息都是狼，肉眼看上去一定是很像一只狼的照片，但这张狼的照片再给预处理模型去做处理，依然会变成“羊”。因此，数据环节存在一定风险。如果攻击者能够对预处理环节进行攻击，就可以完成对任一图像或者视频系统的定向“欺骗”，这也是个黑盒问题。你可以做一个实验把“李冰冰”换成“赵本山”。
同样在语音环节也是这样，我们一般用手机采到语音的采样率，随着语音采集系统越来越多，基本都在96K或者100多K上，但是由于要降采样，在语音处理环节上依然会处理成8K或者16K。所以在降采样或者所谓的“数据降维”过程中存在一些风险隐患。攻击者会利用这样的风险，对多媒体系统或者智能系统进行一定的欺骗。
关于模型层面的风险分析。由于现在的开放性很强，深度学习很热（AlphaGo推的深度学习很热，有很多深度学习平台，如“Big ML”“Open ML”“Caffee”“PyTorch”等），但是这些平台中模型是被大量共享的。GPT3模型有1751个参数，谷歌最近推出了一个万级参数，包括各大厂商都有大规模的参数模型，这样的开源模型如果只是让我们使用，对这个模型做一次完整的训练要花费大量时间和精力，一般根本做不起来。所以大部分人会对模型进行微调后使用，但是模型共享过程中可能会存在一定风险，因为模型是别人做的，公开的模型可能存在一定的后门，而后门在安全模型重用过程中是一个比较大的风险问题，模型后门检测限制条件很多，比如所谓的“模型触发问题”，但在后面模型触发问题也很难被找到，模型后门的使用可能会存在一定的风险。
-图5-
在图5中，上面一列的图是正常的，下面这一列的图就是触发图形，它会有一些滤镜的问题，这就是模型触发的问题。现在模型的触发方法比较简单，即做一些后门的配比，在训练的时候就可以把所谓的后门图片放进去，完成训练模型之后，碰到这样的输入就会引发特定的输出。此外，还有一些新的工艺方法，比如把所谓后门的植入方法放在原始数据层面。原始数据层面可以看到图形的修改，现在把后门放到“特征提取网络”里面，如果放到特征提取网络中的话，对原始照片是没有任何锁定的，隐藏性更强、更难发现，这也是一个比较大的风险。
最后，关于应用和测试修复的问题。现在，AI的学习框架被大量应用，由于代码由人写成，而人是一个较大的不稳定因素，因为人不可能不犯错，所以对于AI的平台或者深度学习平台而言，从底层的CPU、GPU到中间的Theono，还有Keros这些集成在网上的User Code，在人类大量参与编程过程中都可能会存在风险和隐患。此外，在具体平台上，针对相应的Packages，这个漏洞库也由别人所写，也可能存在一定的风险和漏洞。如果予以复用，这样的问题难以解决，可以通过一些简单实验发现某些具体的机器学习平台会产生崩溃的效果。
在自动驾驶的具体实验中，我们发现一些具体参数的变化会使自动驾驶汽车有一定的差异。在当前所谓的决策模型或者AI模型中，如果有一些样本出现在分立面的边界上，而该模型没有见过这样的样本，可能就会产生相应的走偏结果，由此难作出一个正确的决策，有可能会做出错误的反映，在数据有效的情况下对于“Corner-case”的学习是不完备的，这很正常，因为无人能确保某个模型非常完备，基于现有数据集可以尽可能考虑各种情况，但不可能考虑到所有情况，这和本身的可信、可解释性研究有一定关系。后面我们也做了一些实现，包括错位性的发现、隐患定位等。在训练层面，深度学习训练要增加很多成本，资源实现的浪费比较多。所有解决方案都是重新训练，但并不解决根本问题。在这样的情况下，这是对资源和时间的巨大浪费，我们对常见的具体问题做了深度学习自动检测和修复，并认为从技术上来看风险是可以检测修复的。
- Rishab Soni -
主持嘉宾：漆远
主讲嘉宾、讨论嘉宾：汪庆华、黄剑波、马杰、沈超
文字整理：卞哲、蒋礼、未来论坛 | 排版：未来论坛、神经现实-光影
延伸阅读
点击下方
关注未来论坛
关注未来论坛
一个承载人类科技梦想
用科学改变未来的公益平台
一个连接前沿科技
解读未来趋势的思想平台